Форум dkLab и Denwer

[Дмитрий Котеров]

dklab.ru/lib/Dklab_Cache/

[Devgru]

Здравствуйте, Дмитрий.
Хочу спросить, в классе Dklab_Cache_Backend_MemcachedTag вы используете функцию «tag_delete», которая нигде не определена… Я правильно понял, что нужно использовать «модифицированный» memcached, (code.google.com/p/memcached-tag/) или же нет?

[Дмитрий Котеров]

Точнее будет сказать, модифицированный memcached использовать не нужно, потому что он глючный.
Прочитайте, пожалуйста, статью внимательно от начала до конца.

[symbix]

1) каким образом гарантируется, что тэги не протухнут раньше тэгируемых?

я навскидку вот вижу только два варианта

- гарантированно - отдельный memcached для тэгов
- на уровне "наверняка верных предположений" - не использовать "маленькие" слабы (тэги, видимо, пойдут в 2^4, возможно, даже в 2^3) больше ни для чего, задрать повыше лайфтайм

(если непонятно при чем тут степени двойки - kevinminnick.blogspot.com/2006/01/understanding-memcached-memory.html)

2) для тэгов был бы полезен prolongate patch (продление жизни при гете, управляемое флагом)

3) multi-get не используется? или я не заметил?

[Guest]

от дурак дал ссылку а сам не сверился ;) конечно минимальное 2^6

[Дмитрий Котеров]

Гость wrote:

каким образом гарантируется, что тэги не протухнут раньше тэгируемых?

Используется алгоритм, который от этого не зависит, рекомендую заглянуть в код.

Вкратце: если тэги протухнут раньше, чем тэгированные объекты, то объекты просто также протухнут вместе с этими тэгами, и целостность не нарушится.
Но вероятность этого весьма мала, т.к. к тэгам обращение на чтение идет не реже, чем к тэгированным объектам. Соответственно, с точки зрения LRU они имеют одинаковый приоритет вытеснения.
[Правда, статья, которую Вы процитировали, вносит некоторые коррективы в это утверждение, однако я не думаю, что очень значительные.]

Last edited by Дмитрий Котеров on Wed May 21, 2008 10:35 am; edited 1 time in total

[Дмитрий Котеров]

symbix wrote:

для тэгов был бы полезен prolongate patch (продление жизни при гете, управляемое флагом)

А вот насчет этого можно чуть подробнее? Разве в LRU и так не подразумевается, что при каждом чтении вероятность вытеснения снижается?

symbix wrote:

multi-get не используется? или я не заметил?

Не используется, хотя очень бы хотелось: это здорово ускорило бы работу. К сожалению, в расширении PHP memcache он не поддерживается пока: ru2.php.net/manual/en/book.memcache.php

[Дмитрий Котеров]

Кстати говоря, про отдельный memcached для тэгов мысли были. В одной из следующих версий это, вероятно, появится (тем более что реализовать совсем просто, не выходя за рамки идеологии). Но мне думается, что это не даст существенного эффекта все же. По хорошему, надо пробовать так и так на реальном нагруженном проекте, а потом сравнивать число запросов за день, которое прошло мимо кэша.

[symbix]

Quote:

Вкратце: если тэги протухнут раньше, чем тэгированные объекты, то объекты просто также протухнут вместе с этими тэгами, и целостность не нарушится. Но вероятность этого весьма мала, т.к. к тэгам обращение на чтение идет не реже, чем к тэгированным объектам. Соответственно, с точки зрения LRU они имеют одинаковый приоритет вытеснения. [Правда, статья, которую Вы процитировали, вносит некоторые коррективы в это утверждение, однако я не думаю, что очень значительные.]

вообще, вносит. я использую схожий подход для разбиения длинных списков на связанные "чанки" и сталкивался с вытеснением при тестировании, решил тем, что "задрал" лайфтайм для "маркеров" и поставил на них прологнейт вне зависимости от пролонгейта самих данных.

собственно, prolongate. Патч увеличивает лайфтайм при get-е, если взведен 3-й бит флага. Таким образом логика меняется с "протухнуть через N секунд после set-а" на "протухнуть через N секунд после последнего set-а или get-а", что позволяет эффективно кэшировать "горячие" данные. Изменения примитивные: symbi.org/misc/memcached-1.2.2-autoprolongate.patch - конечно, нарушается изначальный принцип "флаги ни на что не влияют", но это последнее что меня тут волнует ;)

Quote:

Не используется, хотя очень бы хотелось: это здорово ускорило бы работу. К сожалению, в расширении PHP memcache он не поддерживается пока:

Поддерживается.
php.net/memcache_get

Quote:

You can pass array of keys to Memcache::get() to get array of values. The result array will contain only found key-value pairs

[Guest]

Quote:

По хорошему, надо пробовать так и так на реальном нагруженном проекте, а потом сравнивать число запросов за день, которое прошло мимо кэша.

Вот, кстати, тоже интересный вопрос, как это считать. Если общее число запросто вытягивается из stats, то детализацию по группам ключей - хм... я не придумал ничего лучше чем грубо впихнуть error_log в свой memcache-враппер и потом все это дело с вебов агрегировать-парсить. Вариант запустить memcached в debug-режиме на продакшене и грепать логи отмел сразу как полный @эпитет@...

[Дмитрий Котеров]

Гость wrote:

Таким образом логика меняется с "протухнуть через N секунд после set-а" на "протухнуть через N секунд после последнего set-а или get-а"

Хм. Очень интересный патч. Но скажите, если я ставлю число секунд равным бесконечности (для тагов), имеет ли смысл данный патч вообще? Судя по коду, не должен бы...

symbix wrote:

Поддерживается. php.net/memcache_get

Спасибо. Вот это очень ценная информация! В скором времени проапдейчу библиотеку.

[Ivan1986]

Еще бы хорошо добавить такую функцию добавить в библиотеку - слоты это конечно хорошо, но черезчур ООП это иногда не есть хорошо

Code (php):

скопировать код в буфер обмена

class Cache_Thru {     private $_cacher, $_obj, $_id, $_tags, $_lt;         public function __construct($Cacher, $obj, $id, $tags, $lifeTime)     {         $this->_cacher = $Cacher;         $this->_obj = $obj;         $this->_id = $id;         $this->_tags = $tags;         $this->_lt = $lifeTime;     }         public function __call($method, $args)     {         if (false === ($result = $this->_cacher->load($this->_id))) {                 $result = call_user_func_array (www.php.net/call_user_func_array)($this->_obj?array (www.php.net/array)($this->_obj, $method):$method, $args);                 $this->_cacher->save($result, $this->_id, $this->_tags, $this->_lt);         }         return $result;     } } function thru($Cacher, $obj, $id, $tags=array (www.php.net/array)(), $lifeTime=null) {         return new Cache_Thru($Cacher, $obj, $id, $tags, $lifeTime); }

[Дмитрий Котеров]

Э-эээ... ну вы явно передаете id слота, насколько я понимаю, а это есть большое зло (как указано в статье). Потому что логика формирования этого ID оказывается размазанной по коду. Идеология слотов как раз призвана бороться с таким размазыванием, чтобы все возможные слоты были всегда под рукой.

[Ivan1986]

Да, я явно передаю id и теги, мое мнение что нужно сделать возможность использования обоих вариантов.
Так как php не компилируемый язык, то включение огромного числа мелких файлов - а такими у вас являются все файлы, описывающие теги и слоты сильно повлияет на производительность, особенно в случае отсутствия кеширования байткода (оно есть не везде), по крайне мере возможность ИМХО добавить нужно.

[Дмитрий Котеров]

Ivan1986 wrote:

ильно повлияет на производительность

Замеры - в студию.

Ivan1986 wrote:

особенно в случае отсутствия кеширования байткода

Конечно! Особенно это актуально, если виртуальная машина PHP реализована на Прологе внутри БЭСМ-6.

[Ivan1986]

Дмитрий Котеров wrote:

Замеры - в студию.

Ну фактически у вас в 49 набле -
Подключение всех файлов по одному, eAccelerator выключен: 911 мс.
Включение одного большого слитого файла, eAccelerator выключен: 458 мс.

На виртуальном хостинге может и не быть акселератора, и никто не разрешит поставить...

[Миша Спларов]

Ivan1986 wrote:

На виртуальном хостинге может и не быть акселератора, и никто не разрешит поставить...

Проекту на виртуальном хостинге и не критичен акселератор, и не для таких проектов делаются описанные в набле приёмы.

[Ivan1986]

ну в принципе да, не спорю...
Однако насчет опционально почему бы не добавить...

[Дмитрий Котеров]

Доступна бета-версия с multi-get оптимизацией:
dklab.ru/wsvn/lib/Dklab_Cache/trunk/
Хотя все тесты проходят (и написаны дополнительные), в официальный релиз пока не выкладываю. Протестируйте, пожалуйста, кому актуально, и напишите сюда результаты.

Как работать

Используйте везде вместо Zend_Cache_Backend_Memcached расширенный класс Dklab_Cache_Backend_MemcachedMultiload, тогда поддержка multi-get включется и будет автоматически доступна для TagEmuWrapper:

Code (php):	скопировать код в буфер обмена
$memcached = new Dklab_Cache_Backend_MemcachedMultiload($memcachedOptions); $backend = new Dklab_Cache_Backend_TagEmuWrapper($memcached); ... работаем с тагами в $backend, оптимизация включена ...

(Конечно, можно продолжать использовать и Zend_Cache_Backend_Memcached, но тогда multi-get выключится, все остальное же работает, как раньше.)

Результаты

Запросы без оптимизации (1 ключ, 4 тага):

Incrementor: Dklab_Cache_Backend_Profiler::load
Incrementor: Dklab_Cache_Backend_Profiler::load
Incrementor: Dklab_Cache_Backend_Profiler::load
Incrementor: Dklab_Cache_Backend_Profiler::load
Incrementor: Dklab_Cache_Backend_Profiler::load

Запросы с включенной оптимизацией (1 ключ, 4 тага):

Incrementor: Dklab_Cache_Backend_Profiler::load
Incrementor: Dklab_Cache_Backend_Profiler::multiLoad

Видно, что 4 разных запроса к 4 тагом превратились в 1 запрос вида multiLoad.
К сожалению, меньше 2 запросов при использовании тагов сделать не получится, это теоретический предел.

Last edited by Дмитрий Котеров on Wed Feb 04, 2009 8:19 pm; edited 1 time in total

[andry_]

Я что-то не поюму смысла либы по тегированию, она же не может работать. Не проверял, но судя по коду

Code (php):	скопировать код в буфер обмена
if (!method_exists (www.php.net/method_exists)($this->_handle, 'tag_add')) {                 Zend_Cache::throwException('Method tag_add() is not supported by the PHP memcached extension!'); }

так в текущей версии пхп нет такой и когда появиться не понятно. Насколько я знаю даже это патч для мемкеша еще стабильно не работает.
Это теоритически размышления или я что-то не правильно понял?

[Дмитрий Котеров]

Рекомендую прочитать статью от начала и до конца, она небольшая.
Библиотека MemcachedTag.php вообще в статье не рассматривается, она в дистрибутиве только в качестве "довеска", на будущее, если вдруг патч про таги появится.

Пользоваться надо TagEmuWrapper.php, она работает и даже покрыта тестами.

[jurm]

Есть следующий вопрос. У вас в листинге 2 происходит такое назначение:

Code (php):	скопировать код в буфер обмена
$backend = new Dklab_Cache_Backend_TagEmuWrapper($memcached); $frontend = new Zend_Cache_Frontend_Output(); $frontend->setBackend($backend);

Но в результате попыток сделать подобное выходит ошибка,
Catchable fatal error: Argument 1 passed to Zend_Cache_Core::setBackend() must be an instance of Zend_Cache_Backend, instance of Dklab_Cache_Backend_TagEmuWrapper given...

В чем подвох?
Версия ZF: ZendFramework-1.7.0PR

[Иван Шумков]

Я так понял что вы дальше не поддерживаете эту библиотеку?
Где можно получить последнюю версию с оптимизацией количества запросов?

[Дмитрий Котеров]

jurm
Это несовместимость с новой версией Zend Framework, похоже. Потому что в ней объявление этого метода такое:

    public function setBackend(Zend_Cache_Backend $backendObject)

А было -

    public function setBackend($backendObject)

На самом деле, это полный беспредел, потому что в классе Zend_Cache_Backend завязки за файловую систему и вообще всякий мусор, который в мемкэш-бакенде совершенно не нужен. Куда только катится ZF...

[Дмитрий Котеров]

Иван Шумков wrote:

Dklab_Cache_Backend_MemcachedMultiload

Черт. Потерял я ее, пока в trunc код библиотеки выделял... причем в кэше Гугла она осталась:
209.85.129.132/search?q=cache:f0WHzQLtQXgJ:dklab.ru/wsvn/lib/%3Fop%3Dcomp%26compare%255B%255D%3D%252FDklab_Cache%252Flib%252FDklab%40242%26compare%255B%255D%3D%252FDklab_Cache%252Flib%252FDklab%40249+Dklab_Cache_Backend_MemcachedMultiload&hl=ru&ct=clnk&cd=47&gl=ru&client=firefox-a

Попробую из бэкапа достать.

[Дмитрий Котеров]

Восстановил, сделал основной версией на сайте.
Скачать можно, где обычно: dklab.ru/lib/Dklab_Cache/

[Дмитрий Котеров]

Кстати, еще там добавился класс ReplicationWrapper, который позволяет отправлять запросы на запись одновременно в несколько memcached-серверов, а снаружи имеет интерфейс обычного backend-а. Удобно, если проект в нескольких датацентрах и использует тэги, но читать данные хочется только из текущего датацентра, не ходя в другой (кстати, в такой ситуации удобно настраивать репликацию только для функции очистки кэша, а простую запись оставлять нереплицируемой).

В последней версии PHP-шного memcache-модуля 3.0.3 (pecl.php.net/package/memcache), кстати, репликация поддерживается на встроенном уровне, однако она уже больше года как бета, и наши тесты показывают, что она рушит-таки PHP иногда (чего не происходит со стабильной 2.2.4). Так что Dklab_Cache_Backend_ReplicationWrapper - реальный выход из ситуации.

[Иван Шумков]

Бесконечно благодарен!

[Иван Шумков]

Я так понял вы не поправили эту ошибку в новом релизе?

Code (php):	скопировать код в буфер обмена
Catchable fatal error: Argument 1 passed to Zend_Cache_Core::setBackend() must be an instance of Zend_Cache_Backend, instance of Dklab_Cache_Backend_TagEmuWrapper given, called in /Users/ivanshumkov/Projects/geometria_old/geometria/library/Zend/Cache.php on line 110 and defined (www.php.net/defined) in /Users/ivanshumkov/Projects/geometria_old/geometria/library/Zend/Cache/Core.php on line 145

[Иван Шумков]

Еще вопрос, как почистить записи по тегу понятно, но возможно ли выбрать все записи по тегу?

[Иван Шумков]

Вот код:

Code (php):

скопировать код в буфер обмена

$memcached = new Dklab_Cache_Backend_MemcachedMultiload($backendConfig);         $backend = new Dklab_Cache_Backend_TagEmuWrapper($memcached);         $cache = Zend_Cache::factory('Core', $backend, $config);         Zend_Registry::set('cache', $cache);         $cache = Zend_Registry::get('cache');         $users = new Users;         foreach ($users->fetchAll(null,null,10) as $user) {                 $cache->save($user, "user_$user->id", array (www.php.net/array)('online_users'));         }                 $userSessions = $cache->load('online_users');         $this->view->users = array (www.php.net/array)();         if ($userSessions) {     // <--- FALSE Why????             foreach ($userSessions as $session) {                     //if ($session->sex == $this->_getParam('sex')) {                         $this->view->users[] = $session;                     //}             }         }

[Иван Шумков]

Очистка по тегу работает:

Code (php):	скопировать код в буфер обмена
$cache->clean(Zend_Cache::CLEANING_MODE_MATCHING_TAG, array (www.php.net/array)("online_users"));         $this->view->users = array (www.php.net/array)();         foreach($ids as $id) {             if ($id)                  $this->view->users[] = $cache->load("user_$id");         }

[Иван Шумков]

Разобрал по косточкам вашу библиотеку и понял почему получить список всех тегированных ключей получить пока не возможно.

[bæv]

Иван Шумков, Вы в курсе, что собственное сообщение можно редактировать?

[Ruscon]

Добрый...

Скачал либку, попытался посмотреть примеры. Почти во всех одни и те же ошибки

www.home.my/Dklab_Cache/t/Dklab_Cache/Frontend/010_include.phpt

--TEST--
Dklab_Cache_Frontend: syntax correctness

--FILE--
<!--error--><br />
<b>Fatal error</b>: Uncaught exception 'Zend_Cache_Exception' with message 'The memcache extension must be loaded for using this backend !' in Z:\home\home.my\www\Dklab_Cache\ZendFramework\lib\Zend\Cache.php:141
Stack trace:
#0 Z:\home\home.my\www\Dklab_Cache\ZendFramework\lib\Zend\Cache\Backend\Memcached.php(97): Zend_Cache::throwException('The memcache ex...')
#1 Z:\home\home.my\www\Dklab_Cache\t\Dklab_Cache\init.php(16): Zend_Cache_Backend_Memcached-&gt;__construct(Array)
#2 Z:\home\home.my\www\Dklab_Cache\t\Dklab_Cache\Frontend\init.php(2): require_once('Z:\home\home.ca...')
#3 Z:\home\home.my\www\Dklab_Cache\t\Dklab_Cache\Frontend\010_include.phpt(6): require('Z:\home\home.ca...')
#4 {main}
  thrown in <b>Z:\home\home.my\www\Dklab_Cache\ZendFramework\lib\Zend\Cache.php</b> on line <b>141</b><br />
<script language=JavaScript src='/denwer/errors/phperror_js.php'></script>

Это мои корявые руки или что-то другое ? =)

[Иван Шумков]

Да ваши. Вам необходимо подключить экстеншен memcache к php:

Quote:

The memcache extension must be loaded for using this backend !

[Дмитрий Котеров]

Иван Шумков wrote:

Catchable fatal error: Argument 1 passed to Zend_Cache_Core::setBackend() must be an instance of Zend_Cache_Backend, instance of Dklab_Cache_Backend_TagEmuWrapper given

Нет, потому что не совсем понятно (по описанным выше причинам), как это вообще можно исправить. Ошибка скорее в архитектуре Zend_Cache_Core. Вы посмотрите, какой там мусор в Zend_Cache_Backend: метод getTmpDir(), _loggerSanity() и т.д. Ну при чем здесь абстракция кэша и "временная директория"? Совсем не хочется эту помойку наследовать в своих классах. И это при том, что есть четкий Zend_Cache_Backend_Interface. Почему они его не используют в этом type hint, для меня загадка. Нужно писать им в багтрак, на самом деле.

Иван Шумков wrote:

как почистить записи по тегу понятно, но возможно ли выбрать все записи по тегу?

Нет, такой функционал не поддерживается, т.к. эта задача выходит за рамки паттерна "кэширование".

[ort]

Такой вопрос, для тегов введена поддержка multi-get, а просто для запросов get через бэкенд TagEmuWrapper работают мульти запросы?
т.е. (Dklab_Cache_Backend_TagEmuWrapper).load(array('key1','key2'));

UPD или я что то путаю? )

[Дмитрий Котеров]

В TagEmuWrapper поддержка multi-get отсутствует.

Milti-get реализован только в backend-классе Dklab_Cache_Backend_MemcachedMultiload.

[Валенок]

Попробовал засубмитить им баг
framework.zend.com/issues/browse/ZF-8139
Не знаю уж, как они отреагируют :)

Спасибо за библиотеку!